文章目录一、什么是CDC1.CDC介绍2.CDC原理二、什么是FLinkCDC三、为什么要使用FLinkCDC四、FLinkCDC代码样例1.POM依赖2.DataStream方式3.FlinkSQL方式结尾一、什么是CDC1.CDC介绍CDC是变更数据捕获（ChangeDataCapture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUPBY）、多表的关联（JOIN）等。例如对于电商平台，用户的订单会实时写入到某个源数据库；A部门需要将每分钟的实时数据简单聚合处理后保存到Redi
Flink命令行参数介绍一、FlinkCommand|CLIActions1.1客户端命令介绍1.2使用示例二、FlinkRunCommand|flinkrun2.1命令介绍2.2使用示例参考文档：1、https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/cli/2、Flink三种模式|不同的执行命令的差异一、FlinkCommand|CLIActions1.1客户端命令介绍Flink提供了一个命令行界面(CLI)bin/flink来运行为JAR文件的程序并控制它们的执行命令行格式，一定要理解命令行
Flink命令行参数介绍一、FlinkCommand|CLIActions1.1客户端命令介绍1.2使用示例二、FlinkRunCommand|flinkrun2.1命令介绍2.2使用示例参考文档：1、https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/cli/2、Flink三种模式|不同的执行命令的差异一、FlinkCommand|CLIActions1.1客户端命令介绍Flink提供了一个命令行界面(CLI)bin/flink来运行为JAR文件的程序并控制它们的执行命令行格式，一定要理解命令行
目录前言：1、springboot引入依赖：2、yml配置文件3、创建SQLserverCDC变更数据监听器4、反序列化数据,转为变更JSON对象5、CDC数据实体类6、自定义ApplicationContextUtil7、自定义sink交由spring管理，处理变更数据前言： 我的场景是从SQLServer数据库获取指定表的增量数据，查询了很多获取增量数据的方案，最终选择了Flink的flink-connector-sqlserver-cdc，这个需要用到SQLServer的CDC（变更数据捕获），通过CDC来获取增量数据，处理数据前需要对数据库进行配置，如果不清楚如何配置可以看看我这
展望Flink各版本及新特性一Flink1.9版本1.1细粒度批作业恢复1.2StateProcessorAPI1.3Stop-with-Savepoint1.4新BlinkSQL查询处理器预览1.5TableAPI/SQL的其他改进二Flink1.10[重要版本:Blink整合完成]2.1内存管理及配置优化2.2统一的作业提交逻辑2.3原生Kubernetes集成（Beta）2.4TableAPI/SQL:生产可用的Hive集成2.5其他TableAPI/SQL优化三Flink1.11[重要版本]3.1非对齐的Checkpoints（Beta版本）3.2统一的Watermark生成器3.3新
1、反压产生的场景反压经常出现在促销、热门活动等场景。短时间内流量陡增造成数据的堆积或者消费速度变慢。它们有一个共同的特点：数据的消费速度小于数据的生产速度。2、反压危害Flink会因为数据堆积和处理速度变慢导致checkpoint超时，而checkpoint是Flink保证数据一致性的关键所在，最终会导致数据的不一致发生。3. 反压原因及定位数据倾斜：可以在Flink的后台管理页面看到每个Task处理数据的大小。当数据倾斜出现时，通常是简单地使用类似KeyBy等分组聚合函数导致的，需要用户将热点Key进行预处理，降低或者消除热点Key的影代码本身：开发者错误地使用Flink算子，没有深入了解
一、简介flink自定义实时数据源使用流处理比较简单，比如Kafka、MQ等，如果使用MySQL、redis批处理也比较简单如果需要定时加载数据作为flink数据源使用流处理，比如定时从mysql或者redis获取一批数据，传入flink做处理，如下简单实现二、pom.xml文件注意flink好多包从1.15.0开始不需要指定Scala版本，内部自带下面pom文件有flink两个版本1.16.0和1.12.7（Scala:2.12）projectxmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/
1、flink内存模型2、集群规模、flink集群规模3、flink集群每秒处理多少数据量？或者自己写过的flink任务处理每秒数据量是多少？4、flink任务提交参数，jobmanager给多少，taskmanager给多少？5、flink任务提交使用哪种提交模式，有什么区别，为什么选用这种提交模式？6、flink资源管理框架用的什么？7、flink作业做过哪些参数配置？8、说一下做过的作业中，source并行度是多少,sink并行度是多少？（如果一样，为什么一样，如果不一样，为什么不一样）9、用过哪些状态，为什么要用状态？10、使用过checkpoint吗？checkpoint参数怎么设置
1、flink内存模型2、集群规模、flink集群规模3、flink集群每秒处理多少数据量？或者自己写过的flink任务处理每秒数据量是多少？4、flink任务提交参数，jobmanager给多少，taskmanager给多少？5、flink任务提交使用哪种提交模式，有什么区别，为什么选用这种提交模式？6、flink资源管理框架用的什么？7、flink作业做过哪些参数配置？8、说一下做过的作业中，source并行度是多少,sink并行度是多少？（如果一样，为什么一样，如果不一样，为什么不一样）9、用过哪些状态，为什么要用状态？10、使用过checkpoint吗？checkpoint参数怎么设置
ApacheFlink的数据流编程模型在有限和无限数据集上提供单次事件（event-at-a-time）处理。在基础层面，Flink程序由流和转换组成。ApacheFlink的API：有界或无界数据流的数据流API、用于有界数据集的数据集API、表API。[3]数据流的运行流程Flink程序在执行后被映射到流数据流，每个Flink数据流以一个或多个源（数据输入，例如消息队列或文件系统）开始，并以一个或多个接收器（数据输出，如消息队列、文件系统或数据库等）结束。Flink可以对流执行任意数量的变换，这些流可以被编排为有向无环数据流图，允许应用程序分支和合并数据流。Flink的数据源和接收器Fli
